Impact of family language and testing language on Reading performance in a bilingual educational context / Impacto del idioma familiar y del idioma del test sobre la comprensión lectora en un contexto educativo bilingüe

BACKGROUND: When different languages co-exist in one area, or when one person speaks more than one language, the impact of language on psychological and educational assessment processes can be considerable. The aim of this work was to study the impact of testing language in a community with two official languages: Spanish and Basque. METHOD: By taking the PISA 2009 Reading Comprehension Test as a basis for analysis, four linguistic groups were defined according to the language spoken at home and the test language. Psychometric equivalence between test forms and differences in results among the four language groups were analyzed. The comparison of competence means took into account the effects of the index of socioeconomic and cultural status (ISEC) and gender. RESULTS: One reading unit with differential item functioning was detected. The reading competence means were considerably higher in the monolingual Spanish-Spanish group. No differences were found between the language groups based on family language when the test was conducted in Basque. CONCLUSIONS: The study illustrates the importance of taking into account psychometric, linguistic and sociolinguistic factors in linguistically diverse assessment contexts

ANTECEDENTES: en áreas en las que coexisten más de un idioma, o en aquellas en las que una persona habla más de un idioma, el efecto del lenguaje sobre los procesos de evaluación educativa o psicológica puede ser considerable. El objetivo del trabajo fue estudiar el impacto del idioma de administración de un test en una comunidad bilingüe con dos idiomas oficiales, el español y el euskera. MÉTODO: tomando como base del análisis la prueba Comprensión Lectora de PISA 2009, se definieron cuatro grupos lingüísticos en función del idioma familiar y del idioma del test. Se analizaron la equivalencia psicométrica entre las versiones idiomáticas y las diferencias entre los grupos. Los análisis tuvieron en cuenta el sexo y el índice de estatus socioeconómico y cultural (ISEC). RESULTADOS: se detectó una unidad de lectura con funcionamiento diferencial. La comparación de los promedios de competencia lectora mostró resultados significativamente superiores en el grupo monolingüe español-español. Cuando el test se administró en euskera no se observaron diferencias entre los grupos lingüísticos en función de su idioma familiar. CONCLUSIONES: el estudio ilustra la importancia de considerar los aspectos psicométricos, lingüísticos y sociolingüísticos en la evaluación en contextos de diversidad lingüística

Impact of family language and testing language on reading performance in a bilingual educational context.

BACKGROUND: When different languages co-exist in one area, or when one person speaks more than one language, the impact of language on psychological and educational assessment processes can be considerable. The aim of this work was to study the impact of testing language in a community with two official languages: Spanish and Basque. METHOD: By taking the PISA 2009 Reading Comprehension Test as a basis for analysis, four linguistic groups were defined according to the language spoken at home and the test language. Psychometric equivalence between test forms and differences in results among the four language groups were analyzed. The comparison of competence means took into account the effects of the index of socioeconomic and cultural status (ISEC) and gender. RESULTS: One reading unit with differential item functioning was detected. The reading competence means were considerably higher in the monolingual Spanish-Spanish group. No differences were found between the language groups based on family language when the test was conducted in Basque. CONCLUSIONS: The study illustrates the importance of taking into account psychometric, linguistic and sociolinguistic factors in linguistically diverse assessment contexts.

Invariance levels across language versions of the PISA 2009 reading comprehension tests in Spain / Evaluación de la invarianza entre las versiones lingüísticas de las pruebas de comprensión lectora PISA 2009 en España

Background: The PISA project provides the basis for studying curriculum design and for comparing factors associated with school effectiveness. These studies are only valid if the different language versions are equivalent to each other. In Spain, the application of PISA in autonomous regions with their own languages means that equivalency must also be extended to the Spanish, Galician, Catalan and Basque versions of the test. The aim of this work was to analyse the equivalence among the four language versions of the Reading Comprehension Test (PISA 2009). Method: After defining the testlet as the unit of analysis, equivalence among the language versions was analysed using two invariance testing procedures: multiple group mean and covariance structure analyses for ordinal data and ordinal logistic regression. Results: The procedures yielded concordant results supporting metric equivalence across all four language versions: Spanish, Basque, Galician and Catalan. Conclusions: The equivalence supports the estimated reading literacy score comparability among the language versions used in Spain (AU)

Antecedentes: el proyecto PISA es la base de estudios y comparaciones sobre diseño curricular y factores de eficacia educativa, que solo son posibles si se garantiza la equivalencia entre las versiones idiomáticas de las pruebas. La aplicación de PISA en comunidades autónomas con lengua propia extiende el cumplimiento de la equivalencia a las versiones lingüística utilizadas en España: español, gallego, catalán y vasco. El objetivo de este trabajo fue analizar la equivalencia de la Prueba de Comprensión Lectora (PISA 2009) entre las 4 versiones idiomáticas. Método: tras definir el testlet como unidad de análisis se analizó la equivalencia entre versiones utilizando dos procedimientos de estudio de la invarianza: las estructuras de medias y covarianzas multigrupo para datos ordinales y la regresión logística ordinal. Resultados: los procedimientos arrojaron resultados concordantes que permiten avalar la equivalencia métrica entre versiones idiomáticas tanto con referencia al español, como entre los idiomas vasco, gallego y catalán. Conclusiones: la equivalencia respalda la comparabilidad de las estimaciones de competencia lectora entre las versiones lingüísticas utilizadas en España (AU)

Invariance levels across language versions of the PISA 2009 reading comprehension tests in Spain.

BACKGROUND: The PISA project provides the basis for studying curriculum design and for comparing factors associated with school effectiveness. These studies are only valid if the different language versions are equivalent to each other. In Spain, the application of PISA in autonomous regions with their own languages means that equivalency must also be extended to the Spanish, Galician, Catalan and Basque versions of the test. The aim of this work was to analyse the equivalence among the four language versions of the Reading Comprehension Test (PISA 2009). METHOD: After defining the testlet as the unit of analysis, equivalence among the language versions was analysed using two invariance testing procedures: multiple-group mean and covariance structure analyses for ordinal data and ordinal logistic regression. RESULTS: The procedures yielded concordant results supporting metric equivalence across all four language versions: Spanish, Basque, Galician and Catalan. CONCLUSIONS: The equivalence supports the estimated reading literacy score comparability among the language versions used in Spain.

Percepción del fair play en deportistas infantiles y cadetes / Perception of fair play in children and youth sport

El trabajo analiza las percepciones subjetivas respecto a la importancia de cinco dimensiones determinantes del fair play en una muestra de deportistas infantiles y cadetes (N = 762). Las dimensiones fueron extraídas de un análisis de contenido del Código de Ética Deportiva de la Unión Europea. Utilizando un diseño de comparaciones binarias se estimaron los valores subjetivos de las dimensiones Comprometerse, Divertirse, Respetar las reglas, Jugar Limpio y Ganar. La dimensión menos importante fue la relacionada con la victoria en el juego. La faceta más relevante varió entre varones y mujeres. Las mujeres consideraron más importante jugar limpio, mientras que para los varones divertirse fue el aspecto más destacable. Apenas se apreciaron diferencias entre el compromiso y el respeto a las reglas en el grupo de varones, si bien en el grupo de mujeres las distancias subjetivas entre estas dimensiones fue más marcada. El ordenamiento de las dimensiones y las distancias subjetivas entre ellas no fueron equivalentes para los hombres y para las mujeres (AU)

This paper analyses the subjective perception of the importance of five dimensions related to fair play in a large sample of young sportspeople (children and youth players) (N = 762). Dimensions were identified through a content analysis based on the European Union Code of Sports Ethics. Five dimensions were defined: having fun, following the rules, being committed, winning and fair play. Following a Thurstonian pair comparison design, a questionnaire was constructed and ipsative data were analysed. The least valued dimension was related to winning the game. The most important dimension differed for boys and girls: girls considered it more important to play fair, whereas for boys the priority was to have fun. No differences were found between commitment and respect for the rules in the male group, although the difference between these dimensions was more pronounced among girls. The ranking of the subjective dimensions and distances between them were not equivalent for boys and girls (AU)

Adaptation of the ESPA29 Parental Socialization Styles Scale to the Basque Language: evidence of Validity

The aim of this study is to adapt the ESPA29 scale of parental socialization styles in adolescence to the Basque language. The study of its psychometric properties is based on the search for evidence of internal and external validity. The first focuses on the assessment of the dimensionality of the scale by means of exploratory factor analysis. The relationship between the dimensions of parental socialization styles and gender and age guarantee the external validity of the scale. The study of the equivalence of the adapted and original versions is based on the comparisons of the reliability coefficients and on factor congruence. The results allow us to conclude the equivalence of the two scales (AU)

El objetivo de este trabajo es adaptar al euskera la escala de estilos de socialización parental ESPA29. El estudio de sus propiedades psicométricas descansa en la búsqueda de evidencias internas y externas de validez. Las primeras se centran en la evaluación de la dimensionalidad de la escala a través de un análisis factorial exploratorio. La relación entre las distintas dimensiones de la socialización y las variables sexo y edad garantizan la validez externa de la escala. El estudio de equivalencia entre las versiones original y adaptada se apoya en la comparación entre los coeficientes de fiabilidad y de la congruencia factorial. Los resultados permiten concluir la equivalencia entre las dos escalas (AU)

[Is there life beyond SPSS? Discover R]. / ¿Existe vida más allá del SPSS? Descubre R.

R is a GNU statistical and programming environment with very high graphical capabilities. It is very powerful for research purposes, but it is also an exceptional tool for teaching. R is composed of more than 1400 packages that allow using it for simple statistics and applying the most complex and most recent formal models. Using graphical interfaces like the Rcommander package, permits working in user-friendly environments which are similar to the graphical environment used by SPSS. This last characteristic allows non-statisticians to overcome the obstacle of accessibility, and it makes R the best tool for teaching. Is there anything better? Open, free, affordable, accessible and always on the cutting edge.

¿Existe vida más allá del SPSS? Descubre R / Is there life beyond SPSS? Discover R

R es un entorno de programación, análisis estadístico y generación de gráficos distribuido bajo licencia GNU. Es un poderoso aliado para la investigación y una excepcional herramienta de trabajo para la docencia. Está constituido por más de 1.400 paquetes integrados con los que es posible ejecutar simples análisis descriptivos o aplicar los más complejos y novedosos modelos formales. Además, la incorporación a R de interfaces gráficas como Rcommander que crean entornos de trabajo amigables muy similares al entorno del SPSS permiten saltar la barrera de la accesibilidad, y utilizarlo sin ningún tipo de reparo en la docencia. ¿Existe algo mejor? Libre, gratuito, asequible, accesible y siempre a la vanguardia (AU)

R is a GNU statistical and programming environment with very high graphical capabilities. It is very powerful for research purposes, but it is also an exceptional tool for teaching. R is composed of more than 1400 packages that allow using it for simple statistics and applying the most complex and most recent formal models. Using graphical interfaces like the Rcommander package, permits working in user-friendly environments which are similar to the graphical environment used by SPSS. This last characteristic allows non-statisticians to overcome the obstacle of accessibility, and it makes R the best tool for teaching. Is there anything better? Open, free, affordable, accessible and always on the cutting edge (AU)

[Coefficients of feasibility for ordinal response scales]. / Coeficientes de fiabilidad para escalas de respuesta categórica ordenada.

Cronbach's alpha is systematically used in the social sciences to estimate internal consistency. However, this coefficient assumes the continuity of the variables and this assumption is not met by ordinal response items or Likert scales. This work shows two alternatives to the alpha coefficient, the ordinal alpha and beta coefficients. Both of them take into account the ordinal nature of the data. The new coefficients were applied to several scales and compared with the traditional estimation of alpha. This paper also shows how to estimate those coefficients.

Una aplicación de la estimación Bayes empírica para incrementar la fiabilidad de las puntuaciones parciales / An application of the empirical Bayes estimation to improve the reliability of subscores

Este trabajo presenta una aplicación de un método estadístico que permite incrementar la fiabilidad de las puntuaciones parciales asociadas a un test. Es una estimación Bayes empírica, generalización de la ecuación de Kelley. Las puntuaciones estimadas se apoyan en la información contenida en el resto de escalas parciales que componen el test. El procedimiento es descrito y discutido aplicándolo a un test intencionadamente multidimensional. El incremento en la fiabilidad de las puntuaciones en cada una de las escalas parciales podría considerarse equivalente a la fiabilidad alcanzable alargando la longitud del test en un 58,06%

In this paper, we show a subscore augmentation procedure that improves the reliability of subscales. The approach uses empirical Bayes estimations. This is a generalization of Kelley’s formula. The estimates are based on the information from other related scales on the test. We describe the procedure and we apply it to a multidimensional test. The reliability of the subscores increased, and the improvement could be considered equivalent to a 58.06% increase in the length of the test

Coeficientes de fiabilidad para escalas de respuesta categórica ordenada / Reliability coefficients for ordinal response scales

El coeficiente alpha de Cronbach es usado constantemente en las ciencias sociales como estimador de la consistencia interna de las puntuaciones. Sin embargo, el supuesto de continuidad en el que se asienta este estadístico es sistemáticamente violado con la utilización de escalas de respuesta ordinal o escalas Likert. Dado que existen coeficientes de fiabilidad construidos sobre la consideración ordinal de los datos a analizar, los coeficientes ordinales alpha y beta, el objetivo de este trabajo es presentarlos, aplicarlos, exponer cómo se estiman y mostrar sus ventajas e inconvenientes respecto a la estimación tradicional de alpha

Cronbach’s alpha is systematically used in the social sciences to estimate internal consistency. However, this coefficient assumes the continuity of the variables and this assumption is not met by ordinal response items or Likert scales. This work shows two alternatives to the alpha coefficient, the ordinal alpha and beta coefficients. Both of them take into account the ordinal nature of the data. The new coefficients were applied to several scales and compared with the traditional estimation of alpha. This paper also shows how to estimate those coefficients

[An application of the empirical Bayes estimation to improve the reliability of subscores]. / Una aplicación de la estimación Bayes empírica para incrementar la fiabilidad de las puntuaciones parciales.

In this paper, we show a subscore augmentation procedure that improves the reliability of subscales. The approach uses empirical Bayes estimations. This a generalization of Kelley's formula. The estimates are based on the information from other related scales on the test. We describe the procedure and we apply it to a multidimensional test. The reliability of the subscores increased, and the improvement could be considered equivalent to a 58.06% increase in the length of the test.

Sobre la validez de los tests / About test validity

Han transcurrido más de dos años desde la publicación de los últimos estándares sobre el uso de tests psicológicos y educativos (AERA, APA y NCME, 1999). Su contenido es el referente más claro y ortodoxo para la evaluación, construcción y utilización de los tests. Desde la versión anterior, publicada en 1985, la aportación más relevante se centra en la necesidad de garantizar un uso correcto de los tests. Es un nuevo matiz que otorga al usuario responsabilidades hasta ahora no consideradas. Como consecuencia irrumpen nuevas fuentes de evidencia en el análisis de la validez: el funcionamiento diferencial de los ítems y la validez consecuencial. El objetivo de este trabajo es ofrecer una panorámica general sobre la validez centrada en los últimos estándares, que la definen como el aspecto más relevante tanto en el desarrollo como en la evaluación de los tests (AU)

More than two years have passed since the publication of the last standards for educational and psychological testing (AERA, APA y NCME, 1999). This publication is the best and foremost reference for test evaluation, construction and use. The most important contribution to the previous version published in 1985 is the emphasis in guaranteeing proper use of the tests, thus bestowing upon the user new responsibilities in the process. As a result of this, new sources of evidence for validity analysis such as differential item functioning and consequential validity have prouted strongly. The objective of this study is to provide a general overview on «validity» based on the latest standards, which is the most relevant feature for both test development and test evaluation (AU)

Formulación y validación de un modelo logístico lineal para la tarea de adición y sustracción de fracciones y números mixtos / Formulation and validation of a lineal logistic model for the task of fraction and mixed numbers addition

En este trabajo de analizan los componentes cognitivos implicados en la realización de una tarea matemática de rendimiento, concretamente la adición y sustracción de fracciones y números mixtos, mediante el modelo logístico lineal de Fisher (LLTM, 1973). La validación de la estructura cognitiva propuesta, reflejada en la matriz de pesos de los componentes, se lleva a cabo mediante el análisis QA (asignación cuadrática). Los resultados confirman que dica matriz describe adecuadamente los componentes cognitivos requeridos para resolver los ítems del test (AU)

The aim of this study is to analyze the cognitive components involved in a mathematical performance task, namely the addition and substraction of fractional and mixed numbers, using Fisher’s linear logistic trait model (LLTM). The validation of the cognitive structure proposed, reflected in the component weight matrix, is performed with the quadratic assignment analysis (QA). The results confirm that the weight matrix describes adequately the cognitive components required to solve the test items (AU)

Fuentes potenciales de sesgo en una prueba de artículo numérica / Potential sources of bias in a numerical aptitud test

En este trabajo se analizan dos problemas derivados de la aplicación de pruebas de aptitud numérica a una población que abarca más de un curso académico (4º y 6º de enseñanza primaria). Por un lado, el diferente grado de desarrollo cognitivo y por otro el intervalo entre la administración y la instrucción. Su interacción con la naturaleza del ítem puede ser fuente de sesgo (detección del funcionamiento diferencial de los ítems y análisis de contenido), comparándose los resultados de la aplicación del c 2 de Lord (modelo logístico de tres parámetros) y del estadístico Mantel-Haenszel. Además se pone a prueba el DIM-TEST como técnica no-paramétrica para la evaluación de la unidimensionalidad esencial (AU)

In this work two problems derived from the application of numerical aptitud tests on a population which is made up of more than one academic grade (4th and 6th grade at primary level) are evaluated. On one hand, the different level of cognitive development and, on the other hand, the time period between administering and instruction of the tests. The interaction with the nature of the item may be the source of bias. In order to evaluate these hypotheses, all the methodology derived from the study of bias are utilisec (detection of the differential item functioning and the analysus of content). The results of the application of Lord’s χ2 (3 parameter logistic model) and the Mantel-Haenszel statistic are compared. Furthermore, the DIMTEST is put to the test as a non-parametric techniqye for the evaluation of the essential unidimensionality (AU)

Idioma de aplicación y rendimiento en una prueba de comprensión verbal / Administration language and diferential item functioning

En este trabajo se intentan evaluar los efectos que tiene sobre el rendimiento y sobre la validez tanto la administración de un test en un idioma que no coincide con el idioma dominante de los sujetos destinatarios como su adaptación al euskera. Para ellos se comparan los resultados obtenidos en una prueba de comprensión verbal por una muestra con dos muestras sometidas a las condiciones mencionadas. El alto porcentaje de funcionamiento diferencial evidencia la falta de validez en cualquiera de las dos condiciones evaluadas (AU)

The purpose of the present research was to evaluate the effects in score and validity, of one test administration in a non dominant language for the subjects, also the score and validity of the instrument translated to the basque language. The results in a verbal comprehension test were compared in relation to the reference and two focal groups. The high percentage of differential item functioning show a lack of validity of the test in anyone of the two evaluated conditions (AU)

Desarrollos didácticos y funcionamiento diferencial de los items. Problemas inherentes a toda investigación empírica sobre sesgo / Didactic developments and differential item functioning

En este trabajo se exponen los problemas que surgen en toda investigación empírica sobre sesgo. Por un lado la inexistencia de una concordancia absoluta entre los distintos procedimientos de detección del funcionamiento diferencial del ítem (FDI) y por otro la falta de correspondencia entre el concepto de funcionamiento diferencial del ítem y el sesgo. Estos problemas se analizan a través del estudio del FDI en un test de aptitud numérica. Se estudian las fuentes de sesgo producidas por el desarrollo cognitivo y la proximidad temporal entre la instrucción y la administración de la prueba. Se comparan los resultados obtenidos por el estadístico Mantel-Haenszel y el χ2 de Lord (modelo logístico de 2 parámetros y modelo logístico de 3 parámetros). Los resultados evidencian la disparidad de conclusiones a las que se puede llegar en función del procedimiento de detección del FDI utilizado (AU)

This paper sets out the problems that arise in any empirical research on bias: on the one hand, tha fact that the different procedures used to detect the differential item functioning (DIF) do not match exactly, and on the other hand, a lack of correspondence between the concept of DIF and the bias. These problems were analysed by studying the differential item functioning in a numerical ability tests. We examined the source of bias originated by the cognitive development and the interval between instruction and administration of the test. The results obtained by Mantel-Haenszel statistic and the Lord χ2 procedure (under 2 and 3 parameter logistic models) were compared. Results show tha different conclusions can be drawn according to the procedure used to detect DIF (AU)